Tuy Hoàn Ôn thua trận nhưng vì ông có quyền lớn triều đình, không ai dám truy trách nhiệm. Hoàn Ôn vốn có chí lấy ngôi nhà Tấn nên hay muốn bắc phạt để lập công, nhưng còn e ngại một bộ phận quan lại trung thành với nhà Tấn. Việc bắc phạt gặp bất lợi, sợ bị mất uy tín, để ra uy với nhà Tấn, ông tìm cách phế vua Tấn là Tư Mã Dịch. Hoàn Ôn truyền ra câu đồng dao rằng vua Tấn có tật bị liệt dương nên phải nhường ngôi.

Tháng 11 năm 371, ông triệu tập bá quan bàn việc phế vua. Phần đông các quan lại trong triều Tấn muốn phản đối vì vua Tấn không làm chuyện thất đức gì và nhà Tấn cũng chưa từng có vua nào bị phế. Hoàn Ôn cũng lo lắng, sợ mọi người không theo, bèn nghe theo lời Vương Bưu khuyên: "Nên lập một người thân cận thay thế".

Hoàn Ôn bèn phế Tư Mã Dịch, chọn lập một người cao tuổi và nhu nhược là Tư Mã Dục lên ngôi, tức là Tấn Giản Văn đế. Theo sử sách, khi được đưa lên ngôi, Giản Văn đế lo sợ bị hại như Tư Mã Dịch nên nước mắt giàn giụa, còn bản thân Hoàn Ôn cũng lo lắng sợ mọi người chống lại, không nói được lời nào.

Kết quả không ai dám phản đối Hoàn Ôn. Ông càng ra tay thanh trừng nhiều quan lại không cùng cánh.